Apache Sqoop-এর Jobs একটি শক্তিশালী ফিচার যা ডেটা ইম্পোর্ট বা এক্সপোর্টের কাজগুলো স্বয়ংক্রিয়ভাবে পরিচালনা করতে সহায়ক। এটি ব্যবহারকারীকে ডেটা স্থানান্তরের জন্য নির্দিষ্ট টাস্কগুলো সংরক্ষণ করতে এবং পরে পুনরায় চালানোর সুবিধা দেয়। Sqoop-এ তিনটি প্রধান Job অপশন রয়েছে: --create, --exec, এবং --list। এগুলোর মাধ্যমে Sqoop কাজগুলো একাধিকবার চালানো এবং পরিচালনা সহজ করে তোলে।
1. --create (Job তৈরি করা)
--create অপশন ব্যবহার করে Sqoop ব্যবহারকারী একটি নতুন Job তৈরি করতে পারেন, যা নির্দিষ্ট ডেটাবেস থেকে ডেটা ইম্পোর্ট বা এক্সপোর্টের কাজগুলো সংরক্ষণ করবে। এই Job একটি ফাইল হিসেবে সংরক্ষিত হবে, যা পরে পুনরায় ব্যবহার করা যেতে পারে।
ব্যবহার:
sqoop job --create job_name -- import --connect jdbc:mysql://localhost:3306/mydatabase --table employees --username root --password root --target-dir /user/hadoop/employees
এখানে:
- --create job_name:
job_nameনামে একটি নতুন Job তৈরি করা হবে। - --import: এটি ডেটা ইম্পোর্টের জন্য একটি Job তৈরি করবে।
- --connect: ডাটাবেস সংযোগ URL।
- --table: ডেটা যে টেবিল থেকে ইম্পোর্ট করতে হবে।
- --target-dir: HDFS-এ ডেটা ইম্পোর্ট করার জন্য যে ডিরেক্টরিতে ডেটা রাখা হবে।
এই Job তৈরি করার মাধ্যমে, আপনি পরবর্তীতে একই Job কে আবার চালাতে পারবেন, এতে আবার সেই একই কনফিগারেশন দিয়ে ডেটা ইম্পোর্ট করা যাবে।
2. --exec (Job Execute করা)
--exec অপশন ব্যবহার করে আপনি পূর্বে তৈরি করা Sqoop Job পুনরায় এক্সিকিউট করতে পারেন। অর্থাৎ, আপনি একটি Job তৈরি করার পর, একাধিক বার সেই Job চালাতে পারেন।
ব্যবহার:
sqoop job --exec job_name
এখানে:
- --exec job_name: এটি পূর্বে তৈরি করা
job_nameনামের Jobটি এক্সিকিউট করবে।
উদাহরণস্বরূপ, যদি আপনি my_import_job নামের একটি Job তৈরি করেন, তাহলে পরবর্তীতে একাধিকবার sqoop job --exec my_import_job কমান্ডটি ব্যবহার করে Jobটি চালাতে পারবেন।
3. --list (List Jobs)
--list অপশন ব্যবহার করে আপনি আপনার সিস্টেমে সংরক্ষিত সকল Sqoop Job-এর তালিকা দেখতে পারেন। এই অপশনটি বিশেষ করে ব্যবহৃত হয় যখন আপনি দেখতে চান কোন Job গুলি আপনার সিস্টেমে সংরক্ষিত রয়েছে এবং আপনি এগুলো পরবর্তীতে এক্সিকিউট করতে পারবেন।
ব্যবহার:
sqoop job --list
এখানে:
- --list: এটি সিস্টেমে সংরক্ষিত সকল Job-এর তালিকা প্রদর্শন করবে।
তালিকাটি দেখতে আপনি আপনার সিস্টেমে সংরক্ষিত সকল Job-এর নাম পাবেন, যেগুলোর মাধ্যমে আপনি পরবর্তীতে --exec অপশন ব্যবহার করে তাদের চালাতে পারবেন।
সারাংশ
Apache Sqoop-এর Job অপশনগুলি ডেটা ইম্পোর্ট বা এক্সপোর্ট প্রক্রিয়াকে আরও সহজ ও স্বয়ংক্রিয় করে তোলে।
- --create: একটি নতুন Job তৈরি করতে ব্যবহৃত হয়, যা পরবর্তীতে পুনরায় ব্যবহার করা যেতে পারে।
- --exec: পূর্বে তৈরি Jobটি এক্সিকিউট (চালানো) করার জন্য ব্যবহৃত হয়।
- --list: সিস্টেমে সংরক্ষিত সকল Job-এর তালিকা প্রদর্শন করে।
এই অপশনগুলো ব্যবহার করে আপনি ডেটা স্থানান্তরের কাজগুলো সহজভাবে ম্যানেজ করতে পারেন, যা সময় বাঁচায় এবং স্বয়ংক্রিয়ভাবে কাজ সম্পন্ন করতে সাহায্য করে।
Read more
